// 分析数据所在地址 浏览器开发者工具中的 network 组件

'https:\/\/www.qschina.cn\/sites\/default\/files\/qs-rankings-data\/cn\/2005378.txt';
// 发起请求 axios requests……
// 提取数据 cheerio re 
// 保存数据 fs 数据库

// 第一步 获取数据所在地址
const url = 'http://www.xbmu.edu.cn/frontChannelPage.action?siteId=1&articleClassId=104';
const baseUrl = 'http://www.xbmu.edu.cn/';
// 发起请求
const axios = require('axios');
const cheerio = require('cheerio');
const fs = require('fs');

const writeStream = fs.createWriteStream('test.csv');

// 写入csv首行信息
writeStream.write('时间,标题,网址 \n');

axios.get(url)
    .then(function (response) {
        // handle success
        // console.log(response.data);
        // 提取数据
        // 将axios请求得到的数据传入cheerio进行分析
        const $ = cheerio.load(response.data);
        // 使用CSS选择器选择节点
        // console.log($('p').text());
        // # container > div.list_main > div.list_right > div.list_right_main > ul > li
        // console.log($('#container > div.list_main > div.list_right > div.list_right_main > ul > li').text());
        $('#container > div.list_main > div.list_right > div.list_right_main > ul > li').each(
            function (index, element) {
                let newsDate = $(element).find('span').text();
                let newsTitle = $(element).find('a').text();
                let newsUrl = baseUrl + $(element).find('a').attr('href');
                // 存储数据
                console.log(newsDate, newsTitle, newsUrl);
                // writeStream.write(newsDate + ',' + newsTitle + ',' + newsUrl + '\n');
                writeStream.write(`${newsDate},${newsTitle},${newsUrl}\n`);
            }
        );
    })
    .catch(function (error) {
        // handle error
        console.log(error);
    });
